神经算法推理的基石是解决算法任务的能力，尤其是以一种概括分布的方式。尽管近年来，该领域的方法学改进激增，但它们主要集中在建立专家模型上。专业模型能够学习仅执行一种算法或具有相同控制流骨干的算法的集合。相反，在这里，我们专注于构建通才神经算法学习者 - 单个图形神经网络处理器，能够学习执行各种算法，例如分类，搜索，动态编程，路径触发和几何学。我们利用CLRS基准来凭经验表明，就像在感知领域的最新成功一样，通才算法学习者可以通过“合并”知识来构建。也就是说，只要我们能够在单任务制度中学习很好地执行它们，就可以以多任务的方式有效地学习算法。在此激励的基础上，我们为CLR提供了一系列改进，对CLR的输入表示，培训制度和处理器体系结构，将平均单任务性能提高了20％以上。然后，我们进行了多任务学习者的彻底消融，以利用这些改进。我们的结果表明，一位通才学习者有效地结合了专家模型所捕获的知识。
translated by 谷歌翻译
子图GNNS是最近表达的图形神经网络（GNN）的一类，它们将图形图形为子图的集合。到目前为止，可能的子图GNN体系结构的设计空间及其基本理论属性仍然在很大程度上尚未探索。在本文中，我们研究了子图方法的最突出形式，该方法采用了基于节点的子图选择策略，例如自我网络或节点标记和删除。我们解决了两个中心问题：（1）这些方法的表达能力的上限是什么？ （2）在这些子图集上传递层的模棱两可的消息家族是什么？我们回答这些问题的第一步是一种新颖的对称分析，该分析表明，建模基于节点的子图集的对称性需要比以前的作品中所采用的对称组明显小。然后，该分析用于建立子图GNN和不变图网络（IGNS）之间的联系。我们通过首先通过3-WL来界定子图方法的表达能力，然后提出一个通用子图方法的一般家族，以将所有先前基于节点的子图GNN泛化。最后，我们设计了一个新颖的子图Gnn称为Sun，从理论上讲，该子gnn统一了以前的体系结构，同时在多个基准上提供了更好的经验性能。
translated by 谷歌翻译
消息传递神经网络（MPNNS）是由于其简单性和可扩展性而大部分地进行图形结构数据的深度学习的领先架构。不幸的是，有人认为这些架构的表现力有限。本文提出了一种名为Comifariant Subgraph聚合网络（ESAN）的新颖框架来解决这个问题。我们的主要观察是，虽然两个图可能无法通过MPNN可区分，但它们通常包含可区分的子图。因此，我们建议将每个图形作为由某些预定义策略导出的一组子图，并使用合适的等分性架构来处理它。我们为图同构同构同构造的1立维Weisfeiler-Leman（1-WL）测试的新型变体，并在这些新的WL变体方面证明了ESAN的表达性下限。我们进一步证明，我们的方法增加了MPNNS和更具表现力的架构的表现力。此外，我们提供了理论结果，描述了设计选择诸如子图选择政策和等效性神经结构的设计方式如何影响我们的架构的表现力。要处理增加的计算成本，我们提出了一种子图采样方案，可以将其视为我们框架的随机版本。关于真实和合成数据集的一套全面的实验表明，我们的框架提高了流行的GNN架构的表现力和整体性能。
translated by 谷歌翻译
病理学家通过检查载玻片上的针头活检的组织来诊断和坡度前列腺癌。癌症的严重程度和转移风险取决于格里森等级，这是基于前列腺癌腺体的组织和形态的分数。为了进行诊断检查，病理学家首先将腺体定位在整个活检核心中，如果发现癌症 - 他们分配了Gleason等级。尽管严格的诊断标准，但这种耗时的过程仍会出现错误和明显的观察者间变异性。本文提出了一个自动化的工作流程，该工作流程遵循病理学家的\ textit {modus operandi}，对整个幻灯片图像（WSI）的多尺度斑块进行隔离和分类。分别对基质和腺体边界； （2）分类器网络以高放大倍数将良性与癌症分离； （3）另一个分类器可以在低放大倍率下预测每个癌症的等级。总的来说，此过程为前列腺癌分级提供了一种特定于腺体的方法，我们将其与其他基于机器学习的分级方法进行比较。
translated by 谷歌翻译
当今的大多数计算机视觉管道都是围绕深神经网络构建的，卷积操作需要大部分一般的计算工作。与标准算法相比，Winograd卷积算法以更少的MAC计算卷积，当使用具有2x2尺寸瓷砖$ F_2 $的版本时，3x3卷积的操作计数为2.25倍。即使收益很大，Winograd算法具有较大的瓷砖尺寸，即$ f_4 $，在提高吞吐量和能源效率方面具有更大的潜力，因为它将所需的MAC降低了4倍。不幸的是，具有较大瓷砖尺寸的Winograd算法引入了数值问题，这些问题阻止了其在整数域特异性加速器上的使用和更高的计算开销，以在空间和Winograd域之间转换输入和输出数据。为了解锁Winograd $ F_4 $的全部潜力，我们提出了一种新颖的Tap-Wise量化方法，该方法克服了使用较大瓷砖的数值问题，从而实现了仅整数的推断。此外，我们介绍了以功率和区域效率的方式处理Winograd转换的自定义硬件单元，并展示了如何将此类自定义模块集成到工业级，可编程的DSA中。对大量最先进的计算机视觉基准进行了广泛的实验评估表明，Tap-Wise量化算法使量化的Winograd $ F_4 $网络几乎与FP32基线一样准确。 Winograd增强的DSA可实现高达1.85倍的能源效率，最高可用于最先进的细分和检测网络的端到端速度高达1.83倍。
translated by 谷歌翻译
本文介绍了AILAB-UDINE团队为SMM4H 22共享任务开发的模型。我们探索了基于变压器的模型在文本分类，实体提取和实体归一化，解决任务1、2、5、6和10的极限。使用集合学习时的不同体系结构，以及生成模型的巨大潜力，以实现术语归一化。
translated by 谷歌翻译
在过去的十年中，越来越多的用户开始在社交媒体平台，博客和健康论坛上报告不良药物事件（ADE）。鉴于大量报告，药物宣传的重点是使用自然语言处理（NLP）技术快速检查这些大量文本收集的方法，从而提到了与药物相关的不良反应对触发医学调查的提及。但是，尽管对任务和NLP的进步越来越兴趣，但面对语言现象（例如否定和猜测），这些模型的鲁棒性是一个公开的研究问题。否定和猜测是自然语言中普遍存在的现象，可以严重阻碍自动化系统区分文本中事实和非事实陈述的能力。在本文中，我们考虑了在社交媒体文本上进行ADE检测的四个最新系统。我们介绍了Snax，这是一种基准测试，以测试其性能，以对包含被否定和推测的ADE的样品进行样本，显示它们针对这些现象的脆弱性。然后，我们引入了两种可能提高这些模型的鲁棒性的可能策略，表明它们俩都带来了大幅提高性能，从而将模型预测的伪造实体数量降低了60％以否定为否定，而猜测为80％。
translated by 谷歌翻译
任何电子设备中包含的芯片都是通过圆形硅晶片制造的，这些芯片是通过不同生产阶段的检查机对其进行监控的。检查机检测并找到晶圆中的任何缺陷，并返回晶圆缺陷图（WDM），即，缺陷为lie的坐标列表，可以将其视为巨大，稀疏和二进制图像。在正常情况下，晶片表现出少量随机分布的缺陷，而以特定模式分组的缺陷可能表明生产线中的已知或新颖类别。不用说，半导体行业的主要关注点是确定这些模式并尽快进行干预以恢复正常的生产条件。在这里，我们将WDM监视作为开放式识别问题，以准确地将WDM分类为已知类别并迅速检测到新颖的模式。特别是，我们提出了一条基于Submanifold稀疏卷积网络的晶圆监测的综合管道，这是一种深层体系结构，旨在以任意分辨率处理稀疏数据，并在已知类别上进行了培训。为了检测新颖性，我们根据拟合在分类器潜在表示上的高斯混合模型定义了一个离群检测器。我们在WDM的真实数据集上进行的实验表明，Submanifold稀疏卷积直接处理全分辨率WDMS在已知类别上比传统的卷积神经网络产生了卓越的分类性能，这需要初步的封装以减少代表WDM的二元图像的大小。此外，我们的解决方案优于最先进的开放式识别解决方案，以检测新颖性。
translated by 谷歌翻译
我们提出了一种新型的半监督学习方法，用于分类组织病理学图像。我们采用贴片级注释以及新颖的共同训练损失的强大监督，以创建半监督的学习框架。共同培训依赖于多种有条件独立且充分的数据视图。我们使用颜色反卷积在病理图像中分离苏木精和曙红通道，从而创建每个幻灯片的两个视图，这些视图可以部分满足这些要求。两个单独的CNN用于将两个视图嵌入关节特征空间中。我们在此功能空间中使用对比的损失来实施共同训练。我们在清晰的细胞肾细胞和前列腺癌中评估了我们的方法，并证明了对最先进的半监督学习方法的改善。
translated by 谷歌翻译
复杂的深层神经网络（例如胶囊网络（CAPSNET））以计算密集型操作为代价表现出较高的学习能力。为了使其在边缘设备上的部署，我们建议利用近似计算来设计诸如SoftMax和Squash等复杂操作的近似变体。在我们的实验中，与确切功能相比，我们评估了通过ASIC设计流实施的设计和量化capsnets的准确性的区域，功耗和关键路径延迟之间的权衡。
translated by 谷歌翻译